Các đơn vị của Binh đoàn Potomac có tổ chức không đều nhau và được thay đổi nhiều lần trong suốt thời gian tồn tại của binh đoàn.

Khi mới sáp nhập vào tháng 7 năm 1862, cánh quân Shenandoah của Thiếu tướng Nathaniel P. Banks, được tổ chức thành một Sư đoàn bộ binh (Infantry Division)[1]. Các cánh quân còn lại (gồm Sư đoàn Potomac, các cánh quân Đông Bắc Virginia, Washington và Baltimore) vẫn giữ nguyên tên gọi.

Ngày 13 tháng 3 năm 1862, Tổng thống Abraham Lincoln đã cho phiên chế các cánh quân thành 4 Quân đoàn (Corps), bao gồm Quân đoàn I (tướng McDowell chỉ huy), Quân đoàn II (tướng Edwin Vose Sumner chỉ huy), Quân đoàn III (tướng Samuel Peter Heintzelman chỉ huy) và Quân đoàn IV (tướng Erasmus Darwin Keyes chỉ huy).

Sau chiến cuộc Bán đảo (tháng 7 năm 1862), Quân đoàn 4 và một sư đoàn độc lập của Binh đoàn đã được phối thuộc vào Cánh quân Virginia. McClellan đã cho thành lập thêm 2 quân đoàn nữa, giao cho 2 sĩ quan trung thành với ông ta chỉ huy là Quân đoàn V (tướng Fitz John Porter chỉ huy) và Quân đoàn VI (tướng William Buel Franklin chỉ huy).

Tháng 8 năm 1862, Binh đoàn Virginia do Thiếu tướng John Pope thua trận Bull Run thứ nhì. Pope bị cách chức, Binh đoàn Virginia được nhập vào Binh đoàn Potomac, và được phiên chế thành các quân đoàn IX, quân đoàn XI (trước là Quân đoàn I, Binh đoàn Virginia) và quân đoàn XII (trước là Quân đoàn II, Binh đoàn Virginia).

Khi tướng Ambrose E. Burnside nắm quyền chỉ huy, ông đã tổ chức ra 3 Đại đoàn (Grand Divisions), bao gồm 2 quân đoàn trong mỗi Đại đoàn. Các đơn vị còn lại (gồm 2 quân đoàn và một số đơn vị độc lập) được tổ chức thành lực lượng trừ bị.

Khi tướng Hooker lên chỉ huy binh đoàn vào đầu năm 1863 đã giải thể biên chế Đại đoàn này. Giai đoạn sau này, chỉ có 7 quân đoàn chiến đấu tại Virginia là trực thuộc điều động trực tiếp của bộ chỉ huy binh đoàn (Quân đoàn IX được điều động theo quyền chỉ huy của tướng Ulysses S. Grant từ đầu chiến dịch Overland). Ông cũng cho thành lập thêm một Quân đoàn Kỵ binh (Cavalry Corps), kết hợp từ các toán kỵ binh nhỏ trong các đơn vị.

Vào cuối 1863, hai quân đoàn được gửi sang miền Tây. Đến tháng 3 năm 1864, 5 quân đoàn còn lại, trừ Quân đoàn Kỵ binh, được thu gọn thành 3 quân đoàn II, V, VI. Quân đoàn IX cũng được trả về cho binh đoàn. Hai sư đoàn của Quân đoàn Kỵ binh cũng được tách ra, chuyển phối thuộc ở thung lũng Shenandoah, còn lại sư đoàn 2 đặt dưới quyền chỉ huy trực tiếp của tướng Meade, chỉ huy Binh đoàn. Tổ chức này được duy trì cho đến khi Binh đoàn bị giải thể.